Buford sinh ra ở Woodford County, Kentucky, nhưng lại lớn lên ở Rock Island, tiểu bang Illinois kể từ năm lên tám tuổi. Cha ông là một chính trị gia thuộc phe Dân chủ có máu mặt ở Illinois và đối thủ chính trị đáng gờm của Abraham Lincoln.

Buford là hậu duệ của người Anh và ông sinh ra trong một gia đình có truyền thống quân sự lâu đời. Ông nội của ông là Simeon Buford từng phục vụ trong đoàn kỵ binh trong Chiến tranh Cách mạng Mỹ dưới trướng Henry "Lighthorse" Lee - cha đẻ của Robert Lee. Chú của ông cũng phục vụ trong một trung đoàn Virginia. Người em trai của ông, Napoleon Bonaparte Buford là một thiếu tướng trong quân đội Liên bang. Người anh em họ của ông, Abraham Buford là thiếu tướng chỉ huy một đội kỵ binh trong quân đội Liên minh miền Nam.